lora笔记

五分钟讲解什么是lora 笔记

gpt 主模型会输出语言，但这时候我想要训练他讲火星文，原模型的 w 参数矩阵是很大的，所以这时候我要想办法更新的时候不用这么大矩阵都更新。那就想局部矩阵用来更新就好，我们把原参数固定 w0，现在训练的参数 w=w0+ w1。